在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。一、概述在企业大数据体系的建设过程中，数据的处理一般包含4个步骤：采集、存储、计算和使用。其中，数据采集，是建设过程中的首要的环节，也是至关重要的环节，如果没有采集就没有数据，更谈不上后续的数据处理与使用。所以，我们看到的企业中的运营报表、决策报表、日志监控、审计日志等的数据来源都是基于数据采集。
在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。一、概述在企业大数据体系的建设过程中，数据的处理一般包含4个步骤：采集、存储、计算和使用。其中，数据采集，是建设过程中的首要的环节，也是至关重要的环节，如果没有采集就没有数据，更谈不上后续的数据处理与使用。所以，我们看到的企业中的运营报表、决策报表、日志监控、审计日志等的数据来源都是基于数据采集。
本文根据余韬老师在GOPS2022·上海站演讲整理而成，更多精彩，请关注高效运维公众号。作者简介：余韬，阿里巴巴技术专家。10年工作经验，目前就职于阿里巴巴日志服务可观测平台团队，负责iLogtail开源，主要关注大数据分析、数据采集Agent、海量数据接入治理等领域。曾负责百度统计、百度分析云产品的研发工作。一、可观测数据类型与价值1.1IT系统的可观测性“可观测性”最早起源于电气领域，指的是一个系统如果是可观测的，它的状态可以由外部输出来推断。比如一个汽车引擎，普通告警只能知道它的总体状态，如果加入仪表盘，比如水温、气压、转速，我们就可以大致定位它的故障方向，如果要解决这个问题，还是要依赖
本文根据余韬老师在GOPS2022·上海站演讲整理而成，更多精彩，请关注高效运维公众号。作者简介：余韬，阿里巴巴技术专家。10年工作经验，目前就职于阿里巴巴日志服务可观测平台团队，负责iLogtail开源，主要关注大数据分析、数据采集Agent、海量数据接入治理等领域。曾负责百度统计、百度分析云产品的研发工作。一、可观测数据类型与价值1.1IT系统的可观测性“可观测性”最早起源于电气领域，指的是一个系统如果是可观测的，它的状态可以由外部输出来推断。比如一个汽车引擎，普通告警只能知道它的总体状态，如果加入仪表盘，比如水温、气压、转速，我们就可以大致定位它的故障方向，如果要解决这个问题，还是要依赖
前言最近天气异常暴热，看到某些地方地表温度居然达到70°，这就离谱所以就想采集一下天气的数据，做个可视化图，回忆一下去年的天气情况开发环境python3.8运行代码pycharm2021.2辅助敲代码requests第三方模块天气数据采集1.发送请求url='https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D=54511&areaInfo%5BareaType%5D=2&date%5Byear%5D=2022&date%5Bmonth%5D=5'response=requests.get(url)print(response)返
前言最近天气异常暴热，看到某些地方地表温度居然达到70°，这就离谱所以就想采集一下天气的数据，做个可视化图，回忆一下去年的天气情况开发环境python3.8运行代码pycharm2021.2辅助敲代码requests第三方模块天气数据采集1.发送请求url='https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D=54511&areaInfo%5BareaType%5D=2&date%5Byear%5D=2022&date%5Bmonth%5D=5'response=requests.get(url)print(response)返
简介Categraf是一个监控采集Agent，类似Telegraf、Grafana-Agent、Datadog-Agent，希望对所有常见监控对象提供监控数据采集能力，采用All-in-one的设计，不但支持指标采集，也希望支持日志和调用链路的数据采集。来自快猫研发团队，和Open-Falcon、Nightingale的研发是一拨人。categraf的代码托管在两个地方：github：https://github.com/flashcatcloud/categrafgitlink：https://www.gitlink.org.cn/flashcat/categraf对比categraf和te
简介Categraf是一个监控采集Agent，类似Telegraf、Grafana-Agent、Datadog-Agent，希望对所有常见监控对象提供监控数据采集能力，采用All-in-one的设计，不但支持指标采集，也希望支持日志和调用链路的数据采集。来自快猫研发团队，和Open-Falcon、Nightingale的研发是一拨人。categraf的代码托管在两个地方：github：https://github.com/flashcatcloud/categrafgitlink：https://www.gitlink.org.cn/flashcat/categraf对比categraf和te
本文重点关注如何在Android平台上采集一帧音频数据。阅读本文之前，建议先读一下我的上一篇文章《Android音频开发（1）：基础知识》，因为音频开发过程中，经常要涉及到这些基础知识，掌握了这些重要的概念后，开发过程中的很多参数和流程就会更加容易理解。AndroidSDK提供了两套音频采集的API，分别是：MediaRecorder和AudioRecord，前者是一个更加上层一点的API，它可以直接把手机麦克风录入的音频数据进行编码压缩（如AMR、MP3等）并存成文件，而后者则更接近底层，能够更加自由灵活地控制，可以得到原始的一帧帧PCM音频数据。如果想简单地做一个录音机，录制成音频文件，则
本文重点关注如何在Android平台上采集一帧音频数据。阅读本文之前，建议先读一下我的上一篇文章《Android音频开发（1）：基础知识》，因为音频开发过程中，经常要涉及到这些基础知识，掌握了这些重要的概念后，开发过程中的很多参数和流程就会更加容易理解。AndroidSDK提供了两套音频采集的API，分别是：MediaRecorder和AudioRecord，前者是一个更加上层一点的API，它可以直接把手机麦克风录入的音频数据进行编码压缩（如AMR、MP3等）并存成文件，而后者则更接近底层，能够更加自由灵活地控制，可以得到原始的一帧帧PCM音频数据。如果想简单地做一个录音机，录制成音频文件，则
